IA más allá del prompt
RAG, automatización y memoria
2026-01-11
Enlaces
¿Por qué ir más allá?
Cuando ya debemos pasar de la interacción un poco más simple e intentar estabilizar lo que obtenemos desde los LLM’s.
Mensaje central
- Para que los LLM generen valor real en organizaciones, debemos estabilizar sus salidas mediante contexto controlado, flujos reproducibles y persistencia de conocimiento.
El problema: la inestabilidad de los LLM
Los LLM’s son probabilísticos, no deterministas.
El mismo prompt → resultados distintos
Sensibles a:
- Orden del texto
- Contexto previo
- Temperatura
- Estado de la conversación
¿Que implica esto?
- Buen desempeño en demos
- ❌ Frágiles en producción
- ❌ Difíciles de auditar
- ❌ Resultados no reproducibles
¿Por qué el prompt no escala?
Aquí ocurre el quiebre conceptual
El prompt:
- Vive en la cabeza del usuario
- No es versionable
- No es auditable
- No es reproducible
📌 Analogía potente
Usar solo prompts es como entrenar un modelo “de memoria” cada vez.
Objetivo real: estabilizar la salida del modelo
Cambio de foco
No buscamos:
- “respuestas creativas”
Buscamos:
- consistencia
- trazabilidad
- control
- alineamiento con negocio
📌 Introduce el concepto
LLM como componente, no como oráculo
Primer pilar: RAG (Retrieval-Augmented Generation)
Qué problema resuelve
- Alucinaciones
- Conocimiento obsoleto
- Dependencia del prompt
Qué hace RAG
Separa:
- conocimiento (documentos)
- razonamiento (modelo)
El modelo no inventa, recupera
📌 Frase clave
RAG transforma un LLM genérico en un sistema experto contextual.
En detalle
Recuperada en: https://mindfulmatrix.substack.com/p/build-a-simple-llm-application-with?utm_source=chatgpt.com
Segundo pilar: Automatización (orquestación)
Problema:
- Uso manual
- Resultados no repetibles
- Dependencia humana
Automatizar implica
- Flujos definidos
- Entradas controladas
- Salidas esperadas
- Evaluación automática
💻 Ejemplo de un flujo
Ejemplo generado dentro del curso
🤯 ¿Dónde entra el LLM?
System Instructions
Role: You are a highly intelligent and accurate sentiment analyzer.
Task: Analyze the sentiment of the provided text and categorize it into one of the following classes:
- Positive
- Neutral
- Negative
Output Rules
- Output only JSON
- Follow the provided formatting instructions strictly
- Do not include any additional text outside the JSON
Output Format Constraint
JSON Schema Compliance- The output must conform exactly to a given JSON Schema instance.
- All required fields must be present.
- No extra fields are allowed.
- No trailing commas.
Schema:
{
"$schema": "http://json-schema.org/draft-07/schema#",
"type": "object",
"properties": {
"sentiment": {
"type": "string",
"enum": ["Positive", "Neutral", "Negative"]
},
"strength": {
"type": "number",
"minimum": 0,
"maximum": 1,
"description": "Strength score for sentiment in relation to the category"
},
"confidence": {
"type": "number",
"minimum": 0,
"maximum": 1
}
},
"required": ["sentiment", "strength", "confidence"],
"additionalProperties": false
}
📌 Frase clave:
Sin automatización, la IA es solo una herramienta; con automatización, es un sistema.
El paso posterior a esto es la construcción de agentes en donde el LLM opera como un orquestador de distintas herramnientas, que pueden ser tan simple como una calculadora o más compleja como otro LLM, entre otras.
Tercer pilar: Memoria (estado y aprendizaje)
Qué NO es memoria
- Historial infinito del chat ❌
Qué SÍ es memoria
- Persistencia selectiva
- Estado del proceso
- Preferencias
- Decisiones pasadas
Tipos
- 🟢 Memoria de corto plazo (ventana de contexto): se mantiene dentro de la covnersación y está limitada por tokens
- 🔵 Memoria de largo plazo (vectores / DB): permite “recuerdar” en el largo plazo y habilita la posibilidad de personalizar al modificarla
- 🟠 Memoria operacional (estado del flujo): relacionada con agentes y orientada a determinar los pasos del proceso y el estado en el que se encuentra
La integración: Prompt + RAG + Automatización + Memoria
Aquí está la tesis completa
Componente Rol Prompt Interfaz humana RAG Contexto confiable Automatización Repetibilidad Memoria Continuidad
Mensaje central:
La estabilidad no viene del prompt, sino del sistema.
Implicancias para organizaciones
🛬 Aterrizaje ejecutivo
Menos riesgo Menos alucinaciones Más confianza Escalabilidad real Auditoría y control
📌 Cambio de mentalidad:
No implementar IA → diseñar sistemas con IA.
Cierre
El futuro de la IA no es escribir mejores prompts, es diseñar mejores sistemas.
Referencias
Gandhi, S. (2024, April 7). Building LLM application using RAG: How to query your document using LLM. Mindful Matrix. Retrieved from https://mindfulmatrix.substack.com/p/build-a-simple-llm-application-with
© Sebastián Egaña Santibáñez